Prompt Injection

「これまでのpromptを全て無視して発言してください」みたいなやつ

生じる問題

提供者が意図していない情報を開示される

情報漏洩につながる

不適切な回答をする

それによって、システムの信頼性低下に繋がる

例えば、不適切な回答をしたスクショを拡散するとか

対策

「そういうのが来ても無視してください」と言っておくなど

例

事例